摘要。尖峰摄像头具有高的时间分辨率,低功能和高动态范围,可应对运动模糊等高速成像挑战。它独立地捕获每个像素的光子,使二进制尖峰流呈富含时间信息,但对图像重建充满挑战。当前的算法,无论是传统的还是基于深度学习的算法,在利用丰富的时间细节以及重建的重建信息的细节的恢复方面仍然需要改善。为了克服这一点,我们介绍了Swin SpikeFormer(Swinsf),这是一种从Spike流进行动态场景重建的新型模型。swinsf由尖峰特征提取,时空特征表和最终重建模块组成。它结合了移动的窗口自我注意力和提出的暂时尖峰注意,确保了综合特征提取,可封装空间和温度动力学,从而导致尖峰流的更强大,更准确的重建。此外,我们为Spike Image重建构建了一个新的合成数据集,该数据集与最新的Spike相机的分辨率相匹配,从而确保了其对Spike Camera Imaging中最新开发的相关性和适用性。实验结果表明,所提出的网络SWINSF设置了一个新的基准测试,在一系列数据集中实现了最新的性能,包括各种分辨率的现实世界和综合数据。我们的代码和建议的数据集可在https://github.com/bupt-ai-cz/swinsf上找到。
主要关键词
![arxiv:2407.15708v2 [CS.CV] 2024年7月24日PDF文件第1页](/bimg/8/85269c60b88b4288bdfa020b5789d72722e74a7f.webp)
![arxiv:2407.15708v2 [CS.CV] 2024年7月24日PDF文件第2页](/bimg/0/07c89c07c1b82892a57398ef01537ae8067959c2.webp)
![arxiv:2407.15708v2 [CS.CV] 2024年7月24日PDF文件第3页](/bimg/8/8f976b99a2f2d49f7e945dd61b4afb2ae97bad4d.webp)
![arxiv:2407.15708v2 [CS.CV] 2024年7月24日PDF文件第4页](/bimg/f/f05eff49942a614c5dd6dd7b74cea4f6c6e759e6.webp)
![arxiv:2407.15708v2 [CS.CV] 2024年7月24日PDF文件第5页](/bimg/f/f06b9e77ad9a0f15ecd91de9a96022acf1884097.webp)
